Khi Giscard trở thành tổng thống ông chỉ định Chirac làm Thủ tướng ngày 27 tháng 5 năm 1974 nhằm hoà giải giữa các phái "Giscard" và "không Giscard" trong nghị viện đa số. Ở tuổi 41, Chirac hiện lên như một hình mẫu của jeunes loups ("những con sói trẻ") của đời sống chính trị Pháp, nhưng ông phải đối mặt với sự thù địch của "Những ông trùm phái de Gaulle" những người tiếp tục coi ông là kẻ phản bội vì vai trò của ông trong chiến dịch tranh cử trước đó. Tháng 12 năm 1974, ông đảm nhận chức lãnh đạo Liên minh Dân chủ vì nền Cộng hoà (UDR) chống lại ý chí của các nhân vật cao cấp hơn của nó.

Với tư cách Thủ tướng, Chirac nhanh chóng thuyết phục những người phái de Gaulle rằng, dù có những cuộc cải cách xã hội do Tổng thống Giscard đưa ra, những giáo lý căn bản của chủ nghĩa de Gaulle, như quốc gia và sự độc lập châu Âu, vẫn sẽ được duy trì. Chirac được Pierre Juillet và Marie-France Garaud cố vấn, họ cũng là cựu cố vấn của Pompidou. Hai người tổ chức chiến dịch chống Chaban-Delmas năm 1974. Họ ủng hộ một cuộc xung đột với Giscard d'Estaing bởi họ cho rằng chính sách của ông làm hoang mang các cử tri bảo thủ. Dẫn chứng việc Giscard không muốn trao quyền lực cho mình, Chirac từ chức Thủ tướng năm 1976. Ông tiến hành xây dựng cơ sở chính trị của mình trong những đảng bảo thủ Pháp, với mục tiêu tái lập UDR của phái de Gaulle vào một nhóm tân de Gaulle mới, Tập hợp vì nền Cộng hoà (RPR).

Vụ tranh cãi Osirak

Theo lời mời của Saddam Hussein (khi ấy là phó tổng thống Iraq, nhưng trên thực tế là vị độc tài), Chirac thực hiện một chuyến viếng thăm chính thức tới Baghdad năm 1975. Saddam đã thông qua một thoả thuận cho phép các công ty dầu mỏ Pháp một số ưu tiên cộng với 23% khoản chia từ dầu mỏ Iraq.[9] Như một phần của thoả thuận này, Pháp bán cho Iraq lò phản ứng hạt nhân Osirak MTR, một kiểu được thiết kế để thí nghiệm các vật liệu hạt nhân.

Không quân Israel cho rằng hoạt động sắp tới của lò phản ứng là một mối đe doạ với an ninh của họ, và đã ném bom huỷ diệt lò phản ứng Osirak ngày 7 tháng 6 năm 1981, gây ra sự giận dữ lớn của các quan chức Pháp và Hội đồng Bảo an Liên hiệp quốc.[10]

Thoả thuận Osirak một lần nữa gây ra tranh cãi trong giai đoạn 2002–2003, khi Hoa Kỳ quyết định xâm lược Iraq. Pháp, cùng với nhiều quốc gia châu Âu khác, dẫn đầu một nỗ lực ngăn cản cuộc xâm lược đó. Thoả thuận Osirak sau đó được một số cơ quan truyền thông Mỹ sử dụng để chống lại sự phản đối chiến tranh Iraq do Chirac lãnh đạo.[11]